Năm 1919, để công nhận chiến công của ông trong Thế chiến thứ nhất, Quốc hội Hoa Kỳ đã ủy quyền cho Tổng thống tiến hành phong cho ông làm Đại thống tướng Hoa Kỳ, cấp bậc cao nhất lực lượng vũ trang Hoa Kỳ.

Đã có một phong trào để ủng hộ Pershing làm ứng cử viên tổng thống vào năm 1920; ông từ chối, nhưng chỉ ra rằng ông "sẽ không từ chối phục vụ" nếu có người muốn ông phục vụ. Mặc dù Pershing thuộc đảng Cộng hòa, nhiều thượng nghị sĩ cho rằng ông đã ủng hộ nhiều chính sách của Tổng thống Đảng Dân chủ Wilson.

Năm 1921, Pershing trở thành Tham Mưu Trưởng Quân Đội Hoa Kỳ, phục vụ trong ba năm. Ông đã tạo ra Bản đồ Pershing, một mạng lưới quốc gia về đường cao tốc quân sự và dân sự được đề xuất. Hệ thống Xa lộ liên tiểu bang được thiết lập vào năm 1956 có sự tương đồng đáng kể với bản đồ Pershing. Vào ngày sinh nhật lần thứ 64 của mình, ngày 13 tháng 9 năm 1924, Pershing đã nghỉ hưu.

Vào ngày 1 tháng 11 năm 1921, Pershing đã ở thành phố Kansas để tham gia lễ khởi công cho Đài tưởng niệm Tự do đang được xây dựng ở đó. Cũng có mặt ngày hôm đó là Trung tướng Baron Jacques của Bỉ, Đô đốc David Beatty của Vương quốc Anh, Nguyên soái Ferdinand Foch của Pháp, và Tướng Armando Diaz của Ý. Một trong những diễn giả chính là Phó Tổng thống Calvin Coolidge. Năm 1935, các tác phẩm điêu khắc về Pershing, Jacques, Foch và Diaz của nhà điêu khắc Walker Hancock đã được thêm vào đài tưởng niệm. Pershing cũng đặt nền tảng của Đài tưởng niệm Chiến tranh Thế giới tại Indianapolis vào ngày 4 tháng 7 năm 1927.

Năm 1924, Pershing trở thành một thành viên của Hiệp hội Pennsylvania. Ông cũng là một thành viên danh dự của Hiệp hội Cincinnati và là một người đồng hành kỳ cựu của Bộ quân sự của các cuộc chiến tranh nước ngoài.

Năm 1940, trước và sau khi Pháp sụp đổ, Pershing là một người ủng hộ thẳng thắn về viện trợ cho Vương quốc Anh trong Thế chiến II. Vào tháng 8 năm 1940, ông đã công khai ủng hộ việc Hoa Kỳ bán năm mươi tàu chiến từ Thế chiến I cho Anh đổi lấy việc thuê đất lâu dài trên các thuộc của Anh, thành lập căn cứ quân sự của Mỹ

Ngày 15 tháng 7 năm 1948, Pershing chết vì bệnh động mạch vành và suy tim tại Bệnh viện Đa khoa Walter Reed ở Washington. Sau đám tang cấp nhà nước, ông được chôn cất tại Nghĩa trang Quốc gia Arlington.